Khởi đầu từ ngã ba giao cắt với Quốc lộ 6 tại Phú Lãm, quận Hà Đông. Quốc lộ 21B chạy theo hướng Bắc-Nam, phía tả ngạn sông Đáy; qua các thị trấn Kim Bài huyện Thanh Oai, Vân Đình huyện Ứng Hòa của Hà Nội; các đô thị Quế huyện Kim Bảng, thành phố Phủ Lý của tỉnh Hà Nam và trở thành tuyến đường nối 2 thành phố Phủ Lý - Nam Định. Khi qua cầu Đò Quan (Nam Định) quốc lộ 21B đi về phía Nam xuyên các huyện Nam Trực, Trực Ninh, Hải Hậu, Nghĩa Hưng của Nam Định. Từ thị trấn Quỹ Nhất Quốc lộ 21B đổi hướng chính Tây Bắc và vượt sông Đáy vào địa phận tỉnh Ninh Bình. Trên tỉnh Ninh Bình, quốc lộ 21B đi từ đê Quang Thiện theo đường Lạc Thiện tới sông Ân đi bên kia sông so với quốc lộ 10, qua đô thị Phát Diệm, đi dọc đê xã Tân Thành tới Lồng, theo đường 480E xuyên hồ Yên Thắng và kết thúc tại thành phố Tam Điệp.

Tổng chiều dài tuyến Quốc lộ 21B sau khi xây dựng khoảng 210 km, tuy nhiên thực tế cự ly từ điểm đầu Hà Đông đến điểm cuối Tam Điệp chỉ khoảng ~120 km theo đường ô tô nếu đi theo các tuyến đường giao thông khác.